関連する Issue / PR

#77

PR をマージした後の挙動の変化

https://huggingface.co/jinaai/jina-embeddings-v3 の評価結果を反映

挙動の変更を達成するために行ったこと

#77 の評価を行う

• LoRA settings:

  • classification: Classification
  • text-matching: STS, PairClassification
  • saparation: Clustering, Reranking
  • retrieval.query: Retrieval (when encoding queries)
  • retrieval.passage: Retrieval (when encoding documents)

• Prefix settings:

  • for queries in Retrieval: https://huggingface.co/jinaai/jina-embeddings-v3/blob/54da5c0cbd10718cb32b8925c9607a53c5eec8d2/config_sentence_transformers.json#L8
  • for documents in Retrieval: https://huggingface.co/jinaai/jina-embeddings-v3/blob/54da5c0cbd10718cb32b8925c9607a53c5eec8d2/config_sentence_transformers.json#L9

• for other tasks: no prefix

動作確認

• テストが通ることを確認した
• マージ先がdevブランチであることを確認した
• python make_leaderboard.pyを実行したことを確認した